package wsf

//2.分词函数:Word segmentation functions

import (
	"strings"
	"unicode"
)

// Tokenize
// 分词函数
func Tokenize(text string) []string {
	// 使用 FieldsFunc 函数来自定义分词规则
	return strings.FieldsFunc(text, func(r rune) bool {
		// 根据标点符号和空白字符进行分词
		return unicode.IsSpace(r) || unicode.IsPunct(r)
	})
}
